Joel sinh ra tại Bronx, New York ngày 9 tháng 5 năm 1949 và lớn lên tại khu ngoại ô Hicksville, New York. Cha ông, Howard (tên khai sinh Helmuth) được sinh ra tại Đức, là con trai của thương gia và nhà sản xuất Karl Amson Joel. Howard di cư tới Thụy Sĩ và sau đó là tới Mỹ (qua Cuba, cùng với luồng sóng di cư lúc bấy giờ của người Đức gốc Do Thái) nhằm thoát khỏi chế độ Nazi. Mẹ Billy Joel, Rosalynd Nyman, sinh ra tại Anh, là con út trong gia đình gồm 3 anh chị em. Cả bố và mẹ Joel đều là người Do Thái. Họ ly hôn năm 1960, và bố Joel chuyển đến Vienna, Áo. Billy có một người chị gái, Judith Joel, và một người anh cùng cha khác mẹ, Alexander Joel, một nhạc trưởng nhạc cổ điển nổi tiếng tại châu Âu và hiện đang là đạo diễn âm nhạc tại Staatstheater Braunschweig.

Cha Joel là một nghệ sĩ dương cầm cổ điển. Billy bắt đầu những bài học dương cầm từ rất sớm, theo như mẹ ông nhấn mạnh, với các giáo viên bao gồm nghệ sĩ dương cầm người Mỹ Morton Estrin và nhạc sĩ Timothy Ford. Billy Joel rất hay bị bắt nạt vì niềm đam mê với âm nhạc hơn là thể thao của mình. Khi đến tuổi vị thành niên, Joel bắt đầu học quyền anh để có thể bảo vệ chính bản thân mình. Ông khá thành công với đấm bốc khi tham gia giải Găng tay vàng (Golden Gloves), một giải đấu nghiệp dư trong một thời gian ngắn, và đã thắng 22 trận, nhưng sau đó đã phải từ bỏ vì mũi ông đã bị đấm gãy trong trận đấu thứ 24.

Joel đã học tại trường phổ thông Hicksville cho đến năm 1967, nhưng ông không tốt nghiệp. Ông đã chơi piano tại các quán bar để kiếm tiền giúp mẹ mình, và điều này đã ngăn cản sự nghiệp học hành của ông: cuối năm học thứ 2, Joel không có đủ khả năng để chi trả cho việc tốt nghiệp. Và thay vì tham dự một trường học mùa hè để kiếm nốt tấm bằng, Joel đã quyết định bắt đầu sự nghiệp âm nhạc của mình. "Tôi đã nói với mọi người ‘Chả sao cả. Nếu tớ không đến được đại học Columbia, tớ sẽ đến hãng thu âm Columbia, cậu không cần một tấm bằng phổ thông để đến đó’". Và Joel đã thực sự ký hợp đồng với hãng Columbia. Năm 1992, ông đã gửi một bài luận cho hội đồng nhà trường và cuối cùng, Joel cũng đã có được tấm bằng tốt nghiệp trường phổ thông Hicksville, 25 năm sau khi ông rời khỏi đó.